LeRoy làm việc ở phim trường, điều chỉnh đèn và phụ quay cho tới khi trở thành một kịch tác gia và diễn viên phim câm. Công việc đạo diễn của ông khởi đầu từ bộ phim năm 1927 No Place to Go. Khi bộ phim thu được lợi nhuận lớn, ông bắt đầu nổi lên trong giới làm phim.

Năm 1931, ông dựng bộ phim găng tơ Little Caesar, với Edward G. Robinson trong vai chính và tên tuổi LeRoy được tạo dựng nhờ bộ phim này. Năm 1938 ông trở thành đạo diễn chính tại MGM. Tại đây, ông là một trong những đạo diễn của bộ phim kinh điển The Wizard of Oz. LeRoy cũng là người có công phát hiện ra những tài năng như Clark Gable, Loretta Young, Robert Mitchum và Lana Turner.

Trong những năm 1950, LeRoy đạo diễn một số phim âm nhạc như Lovely to Look At, Million Dollar Mermaid, Latin Lovers and Rose Marie. Ông sang làm việc tại Warner Bros và dựng những bộ phim nổi tiếng như Mister Roberts, The Bad Seed, No Time for Sergeants, The FBI Story và Gypsy.

Ông được đề cử cho Giải Oscar cho đạo diễn xuất sắc nhất năm 1943 nhờ bộ phim Random Harvest. Ông cũng được nhận 1 giải Oscar danh dự năm 1946 cho The House I Live In, và một giải Giải thưởng tưởng niệm Irving G. Thalberg Memorial năm 1976.